package rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_RDD_File {
  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("memoryRDD")
    val sc = new SparkContext(sparkConf)

    // 创建RDD
    // 1. 读取单个文件为RDD
//    val rdd: RDD[String] = sc.textFile("datasets/wc/1.txt")

    // 2. 读取某个目录文件为RDD
//    val rdd: RDD[String] = sc.textFile("datasets/wc/")

    // 3. 通配符读取指定文件
    val rdd: RDD[String] = sc.textFile("datasets/wc/1*.txt")

    // 4. 读取分布式系统的文件，比如HDFS, HBase
//    val rdd: RDD[String] = sc.textFile("hdfs://dataServer:8002/data/1.txt")

    rdd.collect().foreach(println)

    // 退出环境
    sc.stop()
  }
}
